Năm 1857, Vua Tự Đức xuống chỉ cho Hiệp biện Đại học sĩ, Lễ Bộ Thượng thư Phan Thanh Giản và Hình Bộ Thượng Thư Trương Quốc Dụng soạn thảo một bài văn bia ghi công Đức Quốc Công Phạm Đăng Hưng, khắc vào bia đá rồi cho chờ bằng ghe về Gò Công để dựng ở mộ ông. Theo một số sử liệu, trên đường di chuyển vào Nam, tấm bia đã lọt vào tay quân Pháp sau một cuộc đụng độ giữa hai bên. Một chuyện kể khác lưu truyền trong tộc họ Phạm Đăng cho rằng khi về gần đến địa phận Cần Giờ, do sóng to gió lớn, chiếc thuyền chở văn bia bị lật chìm, quân lính không có khả năng vớt lên, sau đó hải quân Pháp đã làm công việc này. Dù gì thi cuối cùng tấm văn bia cũng đã nằm trong tay thực dân Pháp. Ngày 07 tháng 12 năm 1860, trong một cuộc đụng độ giữa lính Pháp với nghĩa quân Việt Nam gần chùa Khải Tường (Sài Gòn), một sĩ quan cao cấp của Pháp là đại úy Barbé bị tử trận và bị quân ta cắt đầu. Các đồng đội của viên sĩ quan này có tấm văn bia trong tay, đã tiện thể biến nó thành mộ bia cho đồng đội họ. Họ khắc chồng lên những dòng chữ Hán các hàng chữ Pháp tạm dịch như sau:

Đây là nơi an nghỉ của Barbé, Đại úy thủy quân lục chiến tử trận trong một cuộc phục kích ngày 07.12.1860

Kỷ niệm của các thân hữu.

Về sau, con đường chạy qua nơi Barbé tử trận được đặt tên là đường Barbé, ngồi chùa Khải Tường nằm ở vị trí bảo tàng chứng tích chiến tranh ngày nay (đường Võ Văn Tần) được người dân quen gọi là chùa Barbé. Cũng theo một số sử liệu, khoảng năm 1867, thực dân Pháp đã cho san phẳng ngôi chùa, có lẽ để xóa sạch vết tích kỷ niệm vệ một trong những tổn thất lớn của họ trong quá trình thuộc địa hóa vùng đất Nam Kỳ. Riêng tấm văn bia có kích thước 220x147cm đã được cắm trên mộ của Barbé tại nghĩa trang Mạc Đỉnh Chi (đường Mạc Đĩnh Chi) từ ấy cho đến ngày giải tỏa nghĩa trang vào năm 1984.

Việc bị Pháp lấy mất tấm văn bia là một tổn thất tinh thần to lớn đối với bà Từ Dụ Thái Hậu và cả hoàng tộc triều Nguyễn lúc bấy giờ. Tuy nhiên theo quy tắc đã định, vua Tự Đức không thể ban tấm văn bia đó lần thứ hai, và việc này đã ám ảnh bà Từ Dụ suốt hơn 30 năm trời. Năm Thành Thái thứ 3 (1891), với tư cách Thái Thái hoàng thái hậu, bà "tỉnh cầu" Tôn Nhơn phủ và triều đình cho khắc một tấm văn bia thứ hau với nội dung y như tấm bia trước, chỉ khác là kích thước nhỏ hơn. Bia đặt ở trước cổng Đức Quốc Công từ (nàhh thờ họ Phạm Đăng) tại Kim Long (Huế), trong một bi đình với ba bậc đá thanh cao khoảng 79 cm. Bên phải bi đình, dưới mặt đất, có một bia nhỏ ghi dòng chữ "khuynh cái hạ mã" (nghiện lọng xuống ngựa), hiện nay vẫn còn. Năm 1955, Huế bị lụt lớn, do sức nước quá mạnh, bi đình đổ, phần lớn cột kèo trôi theo dòng nước, riêng văn bia vẫn không hề hấn gì. Ngày nay, văn bia đã được tộc họ Phạm Đăng đặt trong sận nhà thờ Đức Quốc Công Phạm Đăng Hưng ở Huế.